![arXiv:2310.04644v2 [cs.SD] 2024 年 1 月 31 日](/simg/d/dfd1bff60aa1f4532402af52b5e2d65f14e3f0da.png)
机构名称：
¥ 1.0
从神经活动重建自然语音对于实现脑机接口的直接通信至关重要。之前的研究探索了使用在大量神经记录数据上训练的复杂深度神经网络 (DNN) 模型将神经记录转换为语音，这在常规临床限制下是资源密集型的。然而，要从有限规模的神经记录中重建语音并取得令人满意的效果一直是一项挑战，这主要是由于语音表示的复杂性和神经数据的限制。为了克服这些挑战，我们提出了一种用于神经驱动语音重建的新型迁移学习框架，称为 Neural2Speech，它包含两个不同的训练阶段。首先，在现成的语音语料库上对语音自动编码器进行预训练，以从编码的语音表示中解码语音波形。其次，在小规模神经记录上训练一个轻量级适配器，以对齐神经活动和语音表示以进行解码。值得注意的是，我们提出的 Neural2Speech 证明了即使仅使用 20 分钟的颅内数据也能进行神经驱动语音重建的可行性，其在语音保真度和清晰度方面明显优于现有的基线方法。
arXiv:2310.04644v2 [cs.SD] 2024 年 1 月 31 日
主要关键词
![arXiv:2310.04644v2 [cs.SD] 2024 年 1 月 31 日PDF文件第1页](/bimg/3/33718f625e2f5d3b086549a56350c42eb6b75325.webp)
![arXiv:2310.04644v2 [cs.SD] 2024 年 1 月 31 日PDF文件第2页](/bimg/f/fbdbb15cc4b8c3db88f7c54e12ea55a41aa3b297.webp)
![arXiv:2310.04644v2 [cs.SD] 2024 年 1 月 31 日PDF文件第3页](/bimg/b/bfd516df277ba254abb6f8bd2cd834d844956201.webp)
![arXiv:2310.04644v2 [cs.SD] 2024 年 1 月 31 日PDF文件第4页](/bimg/8/8f67fa0326e6b029046164e69517c9bd1d4963ff.webp)
![arXiv:2310.04644v2 [cs.SD] 2024 年 1 月 31 日PDF文件第5页](/bimg/f/fa6c64c2ec90cae9aa3395995c38979d6ee89d14.webp)
相关文件推荐
![arXiv:2310.12419v2 [cs.CR] 2024 年 6 月 6 日](/simg/f/f0c960cb0da1202222e3b6f934d6ea05a542d293.png)
![arXiv:2310.09154v3 [quant-ph] 2024 年 4 月 23 日](/simg/e/eb6245b1f6041ba44a9a101b3899a9750d524d72.png)
![arXiv:2310.20444v1 [cs.AI] 2023 年 10 月 31 日](/simg/7/72c883b16227d899c0dc01cfa40aed09239cae94.png)
![arXiv:2310.18256v2 [physics.atom-ph] 2024 年 3 月 22 日](/simg/3/378195e596fbf4cc9b3980eab31ee648a58f4111.png)
![arXiv:2402.05138v1 [cs.AI] 2024 年 2 月 6 日](/simg/a/a88ffeefc81f01e0c2bd0166d654268028a7ad0c.png)
![arXiv:2312.10370v2 [cs.AI] 2024 年 3 月 28 日](/simg/9/91f7af3b87a107a56902207b93b27804eae3aa2b.png)
![arXiv:2110.11385v3 [cs.AI] 2024 年 2 月 29 日](/simg/0/0dd4026aa24ddd39f4a46f7995d9b38f822905d2.png)
![arXiv:2311.03764v4 [cs.LG] 2024 年 3 月 2 日](/simg/6/65d1deaefd3b0ae77e262828e98179c63a5a5134.png)
![arXiv:2212.11338v4 [quant-ph] 2024 年 3 月 4 日](/simg/e/efd02522df234e012654bd966ec8f49dd66e15d5.png)
![arXiv:2303.07032v2 [quant-ph] 2024 年 3 月 8 日](/simg/1/1283ae2309f857fb79f8cccaf49afe4bb71331cf.png)
![arXiv:2403.04126v1 [quant-ph] 2024 年 3 月 7 日](/simg/d/d55344bb07be919afc9681f99d6383148c6b3024.png)
![arXiv:2410.01044v1 [cs.AI] 2024 年 10 月 1 日](/simg/d/d341e50772fb4978a760f816a937ef4cd89c186a.png)
![arXiv:2302.11454v3 [quant-ph] 2024 年 5 月 7 日](/simg/0/065616719c427506bc86c55d47d4ddd87650cf91.png)
![arXiv:2405.03541v1 [cs.CV] 2024 年 5 月 6 日](/simg/b/b0062a8e5f096579d990b3b87816beedea428ebe.png)
![arXiv:2406.03256v1 [quant-ph] 2024 年 6 月 5 日](/simg/2/27f4f3bc2290bd8b43077955ede60e82afd90503.png)
![arXiv:2403.00669v1 [cs.LG] 2024 年 3 月 1 日](/simg/6/6d2cba03da31fad9740548417433eee9d023508e.png)
![arXiv:2401.01322v1 [quant-ph] 2024 年 1 月 2 日](/simg/f/f6b2d57afd3287d48a7aef122c4fb86b63f34e67.png)
![arXiv:2403.00260v1 [cs.CL] 2024 年 3 月 1 日](/simg/f/f9197234520089f0922e9140c06c6ac03608c9c9.png)
![arXiv:2401.02344v1 [cs.LG] 2024 年 1 月 4 日](/simg/3/33969f2d6df82554df6878e78b2420d22a4c30e8.png)